Enrutamiento Sinkhorn Selectivo para Mezclas Dispersas de Expertos
Mejora el rendimiento de mezclas dispersas de expertos con enrutamiento Sinkhorn selectivo. Sin pérdidas auxiliares, mayor eficiencia y robustez.
#pérdidas auxiliares
Selective Sinkhorn Routing para mejorar mezcla dispersa de expertos
Descubre cómo Selective Sinkhorn Routing optimiza modelos SMoE eliminando pérdidas auxiliares, mejorando eficiencia y precisión en lenguaje e imágenes.